Tương truyền, người vợ Vi thị của ông đã giết chết người thiếp Đoàn thị do ghen tuông, sau khi bà phát hiện Lưu Khiêm giấu Đoàn thị trong một căn nhà cách xa phủ. Lưu Khiêm an táng Đoàn thị. Trên một phiến đá gần mộ Đoàn thị có khắc các chữ "Ẩn", "Đài", và "Nham", Lưu Khiêm thấy vậy đã dùng ba chữ này để đặt tên cho ba người con trai.[7]